Ân Phú là nơi chiêu dân lập ấp và lưu sống cuối đời của hai cha con nhà sử học Sử Hy Nhan và Sử Đức Huy, cha con ông có công khai khẩn lên một phần xã Ân Phú hiện nay. Trên Ân Phú có dõi nhiều họ tộc có truyền thống học hành nổi tiếng như họ Trần, họ Cù, họ Nguyễn, họ Trương. Dòng họ Trần về đây lập nghiệp cùng với Sử Hy Nhan từ cuối đời nhà Trần và sinh ra nhiều nhân tài cho đất nước, ngày nay dòng họ này đang thờ tổ tiên là các danh nhân: trạng nguyên [[Sử Hy Nhan|Sử Hy Nhan, trạng nguyên Sử Đức Huy, trạng nguyên Trần Thành Đốn, trạng nguyên Trần Tiết Việt, tiến sĩ Trần Khắc Nhượng, tiến sĩ Trần Xuân Mai và Hộ bộ thượng thư Trần Hữu Kiệm[1], quan lục phẩm Đội trưởng Nguyễn Tính, quan lục phẩm Đội trưởng Nguyễn Hoàn.

Đối với dòng họ Cù,Ân Phú là nơi sinh ra Binh bộ thượng thư Cù Ngọc Xán, đời nhà Lê, ông là phu quân của bà Ngô Thị Ngọc Điệp[2], vì có công trong cuộc kháng chiến chống giặc ngoại xâm, ông đã được Nhà Lê ban quốc tính họ Lê, đời sau đến thời vua Khải Định nhà Nguyễn lại có sắc phong thần hiệu là "Tiền Lê Đô chỉ huy sứ Lê Ngọc Xán".

Nếu thời Lê họ Cù có Binh bộ thượng thư Cù Ngọc Xán thì sang đến thời Nguyễn có quan chánh nhị phẩm Tổng đốc tổng An Tĩnh là cụ Cù Hoàng Tại,đến thời kháng chiến chống Pháp có nhà cách mạng Cù Hoàng Địch,chánh ngũ phẩm đốc học tổng An Tĩnh, người từng hưởng ứng chiếu Cần Vương mà dựng cờ chống Pháp tại quê nhà.

Ân Phú còn là quê hương của nhà thơ Huy Cận (Cù Huy Cận)[3]. Cù Huy Cận từng giữ chức Bộ trưởng không Bộ trong chính phủ lâm thời ra mắt quốc dân đồng bào ngày 2/9/1945 do Cụ Hồ Chí Minh làm Chủ tịch Chính phủ, sau đó là Bộ trưởng Bộ Canh nông đầu tiên của Việt Nam trong chính phủ liên hiệp lâm thời (1-1-1946) do Cụ Hồ Chí Minh làm chủ tịch Chính phủ, nhiều nhiệm kỳ giữ chức Thứ truởng Bộ Văn hóa, sau đó giữ chức Bộ trưởng đặc trách văn hóa-nghệ thuật. Ông là nhà thơ đầu tiên của Việt Nam được bầu làm Viện sĩ Viện hàn lâm thơ Thế giới (được bầu vào năm 2001), Ông được tặng Huân chương Sao Vàng- Huân chương cao quý nhất của Nhà nước Việt Nam. Ân Phú là làng quê mà nhà thơ tình nổi tiếng Xuân Diệu, khi còn sống đã nhiều lần ghé thăm cùng với người bạn lớn của Ông là nhà thơ Huy Cận.

Trong các thời đại, Ân Phú đều có các danh nhân tầm Bộ trưởng, thứ trưởng ngày nay: Binh bộ thương thư Cù Ngọc Xán, Hộ Bộ thương thư Trần Hữu Kiệm,Tổng đốc Cù Hoàng Tại, Đốc học Cù Hoàng Địch Kim quang lộc đại phu Sử Huy Nhan, Thẩm hình viện thái sử Sử Đức Huy, chí nhập nội hành khiển Trần Tiết Việt, chí nhập nội thừa chỉ Trần Thành Đốn. Tiến sĩ, trên một số lĩnh vực, như thời nhà Trần có Trần Tiến sĩ trung trinh đại phu, tri phủ Trần Khắc Nhượng, Trần Tiến sĩ hàn Lâm cô tán đại phu Trần Xuân Mai.

Ngày nay, có tiến sĩ Cù Huy Chử - Nhà nghiên cứu lý luận, giảng dạy đại học; tiến sĩ kinh tế Cù Hoàng Diệu ;tiến sĩ y khoa Nguyễn Đăng Dung - nguyên Giám đốc Bệnh viện Tâm thần Trung ương I; tiến sĩ luật Cù Huy Hà Vũ; PGS -Tiến sĩ- Nhạc sĩ Cù Lệ Duyên; Nhà nghiên cứu lịch sử, văn hóa Nguyễn Thế Phiệt..v.v....

Một số bài thơ về Ân Phú (tên cũ là xã Đức Ân) như: Về thăm Quê xã Đức Ân, Thăm quê của Huy Cận.